Screw-transform Manifolds for Camera Self Calibration

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . viii 1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.1 Camera calibration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 Applications of camera calibration . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.3 Calibration by manifold intersection . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.4 Contributions of the dissertation . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 1.5 Structure of the dissertation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2 History and Context . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.1 Image-based rendering: sampling versus simulation . . . . . . . . . . . . . . . . . 9 2.2 Self calibration and scene reconstruction . . . . . . . . . . . . . . . . . . . . . . . 18 3 Introduction to Camera Calibration and Multiview Geometry . . . . . . . . . . . . 27 3.1 Platonic labels and coordinate systems . . . . . . . . . . . . . . . . . . . . . . . . 28 3.2 Pinhole cameras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 3.2.1 Basic mathematical definition . . . . . . . . . . . . . . . . . . . . . . . . 30 3.2.2 Physical interpretation and history . . . . . . . . . . . . . . . . . . . . . . 34 3.2.3 Physical derivation of the pinhole camera matrix . . . . . . . . . . . . . . 35 3.2.4 Meaning of internal calibration . . . . . . . . . . . . . . . . . . . . . . . . 38 3.3 Concepts from projective geometry . . . . . . . . . . . . . . . . . . . . . . . . . . 39 3.4 Epipolar geometry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 3.5 Scene reconstruction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 3.5.1 Hierarchy of scene reconstructions . . . . . . . . . . . . . . . . . . . . . . 53 3.5.2 Hierarchy of camera reconstructions . . . . . . . . . . . . . . . . . . . . . 55 3.5.3 Triangulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 3.5.4 Projective reconstruction using a fundamental matrix . . . . . . . . . . . . 58 3.5.5 The absolute quadric and metric reconstruction . . . . . . . . . . . . . . . 59